MACRO: Markov Chain Routing of Transformer Layers
MACRO：基于马尔可夫链的Transformer层路由
🧭 动态层路由优化推理
Heinrich Heine University Düsseldorf · Jagiellonian University · IDEAS Research Institute
不修改模型参数，通过马尔可夫链学习任务特定层路由，精度+5.0%，搜索时间降低9.4倍
📌 工作参考价值（4 点）
- 动态层路由可作为在线模型服务的推理加速手段，根据查询或上下文的复杂度自适应选择执行层数，在搜索推荐系统中平衡延迟与效果。
- 路由策略以马尔可夫链形式外挂于预训练模型，无需修改原始权重，便于在已有LLM上快速实验与部署。
- 利用top-k Viterbi解码生成高概率候选路径，可借鉴用于Agent多步推理中对执行路径的规划与剪枝。
- 将计算预算分阶段建模，可控制推理成本，适合在流量波动下动态调整资源分配，如大促时保障核心服务。